Глава 3. Оценивание 

3.1. Методы оценивания параметров 
 
	Статистические методы иногда опираются на разнообразные параметрические модели. Термин «параметрический» означает: вероятностно-статистическая модель полностью описывается конечномерным вектором фиксированной размерности. Причем эта размерность не зависит от объема выборки.
	Рассмотрим выборку x1, x2,…, xn из распределения с плотностью f(x;θ0), где f(x;θ0)- элемент параметрического семейства плотностей распределения вероятностей {f(x;θ), θєΘ}. Здесь Θ – заранее известное k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра θ0 статистику неизвестно. Обычно в прикладной статистике применяются параметрические семейства с k = 1, 2, 3. В статистике нечисловых данных вместо плотности часто рассматриваются вероятности попадания в точки. В параметрических задачах оценивания принимают вероятностную модель, согласно которой результаты наблюдений x1, x2,…, xn рассматривают как реализации n независимых случайных величин. 
	Задача оценивания - оценить неизвестное статистику значение параметра θ0 наилучшим (в каком-либо смысле) образом.
	Пример 1. В статистических задачах стандартизации и управления качеством используют семейство гамма-распределений. Плотность гамма-распределения имеет вид
		(3.1)
Плотность вероятности в формуле (3.1) определяется тремя параметрами a, b, c, где a > 2, b > 0. При этом a является параметром формы, b - параметром масштаба и с - параметром сдвига. Множитель 1/Γ(а) является нормировочным, он введен, чтобы

Здесь Γ(а) - одна из используемых в математике специальных функций, так называемая «гамма-функция», по которой названо и распределение, задаваемое формулой (3.1),

Подробные решения задач оценивания параметров для гамма-распределения содержатся в разработанном нами государственном стандарте ГОСТ 11.011-83 «Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения» [1]. В настоящее время эта публикация используется в качестве методического материала для инженерно-технических работников промышленных предприятий и прикладных научно-исследовательских институтов.
	Поскольку гамма-распределение зависит от трех параметров, то имеется 23 – 1 = 7 вариантов постановок задач оценивания. Они описаны в табл. 3.1. 
Таблица 3.1
Постановки задач оценивания  параметров гамма-распределения
№ п/п	Параметр формы	Параметр масштаба	Параметр сдвига	
1	Известен	Оценивается	Известен	
2	Оценивается	Известен	Известен	
3	Известен	Известен	Оценивается	
4	Оценивается	Оценивается	Известен	
5	Известен	Оценивается	Оценивается	
6	Оценивается	Известен	Оценивается	
7	Оценивается	Оценивается	Оценивается	

	В табл. 3.2 приведены реальные данные о наработке резцов до предельного состояния, в часах. Упорядоченная выборка (вариационный ряд) объема n = 50 взята из государственного стандарта [1]. Проверка согласия данных о наработке резцов с семейством гамма-распределений проведена в главе 4.1. Именно эти данные будут служить исходным материалом для демонстрации тех или иных методов оценивания параметров.

Таблица 3.2
Наработка резцов до предельного состояния, ч
№ п/п	Наработка, ч	№ п/п	Наработка, ч	№ п/п	Наработка, ч	
1	9	18	47,5	35	63	
2	17,5	19	48	36	64,5	
3	21	20	50	37	65	
4	26,5	21	51	38	67,5	
5	27,5	22	53,5	39	68,5	
6	31	23	55	40	70	
7	32,5	24	56	41	72,5	
8	34	25	56	42	77,5	
9	36	26	56,5	43	81	
10	36,5	27	57,5	44	82,5	
11	39	28	58	45	90	
12	40	29	59	46	96	
13	41	30	59	47	101,5	
14	42,5	31	60	48	117,5	
15	43	32	61	49	127,5	
16	45	33	61,5	50	130	
17	46	34	62			

	Выбор «наилучших» оценок в определенной параметрической модели прикладной статистики – научно-исследовательская работа, растянутая во времени. Выделим два этапа. 
	Этап асимптотики: оценки строятся и сравниваются по их свойствам при безграничном росте объема выборки. На этом этапе рассматривают такие характеристики оценок, как состоятельность, асимптотическая эффективность и др. 
	Этап конечных объемов выборки: оценки сравниваются, скажем, при n = 10. Ясно, что исследование начинается с этапа асимптотики: чтобы сравнивать оценки, надо сначала их построить и быть уверенными, что они не являются абсурдными (такую уверенность дает доказательство состоятельности). 
	С какой оценки начинать? Одним из наиболее известных и простых в употреблении методов является метод моментов. Название связано с тем, что этот метод опирается на использование выборочных моментов

где x1, x2,…, xn – выборка, т.е. набор независимых одинаково распределенных случайных величин с числовыми значениями. 
	В прикладной статистике метод анализа данных называется методом моментов, если он использует статистику
		(3.2)
где g: Rq → Rk – некоторая функция (здесь k – число неизвестных числовых параметров). 
	Чаще всего термин «метод моментов» используют, когда речь идет об оценивании параметров. В этом случае обычно предполагают, что плотность вероятности распределения элементов выборки f(x) входит в заранее известное статистику параметрическое семейство {f(x;θ), θєΘ}, т.е. f(x) = f(x;θ0) при некотором θ0. Здесь Θ – заранее заданное k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра θ0 статистику неизвестно, его и следует оценить. Известно также, что неизвестный параметр определяется с помощью известной статистику функции через начальные моменты элементов выборки:
		(3.3)
В методе моментов в качестве оценки θ0 используют статистику Yn вида (3.2), которая отличается от правой части формулы (3.2) заменой теоретических моментов заменены выборочными. 
	Статистики Yn вида (3.2) применяются не только для оценивания параметров, но и для непараметрического оценивания характеристик случайной величины, таких, как коэффициент вариации, и для проверки гипотез. Во всех случаях применения статистики Yn вида (3.2) говорят о методе моментов.
	Распределение вектора Yn во всех практически важных случаях является асимптотически нормальным. Это утверждение опирается на следующий общий факт.
	Пусть случайный вектор Zn  Rq асимптотически нормален с математическим ожиданием z∞ и ковариационной матрицей ||cij||/n, а функция h: Rq → R1 достаточно гладкая. Тогда случайная величина h(Zn) асимптотически нормальна с математическим ожиданием h(z∞) и дисперсией
		(3.4)
Этот способ нахождения предельного распределения известен как δ-метод Рао, метод линеаризации. Последний термин и будем использовать. Условия регулярности, накладываемые на распределение случайной величины Zn и функцию h, при которых метод линеаризации обоснован, хорошо известны (см. главу 14 настоящего учебника).
	Для получения асимптотического распределения статистики Yn вида (3.2) можно применить метод линеаризации к асимптотически нормальному вектору выборочных моментов (Mn1, Mn2, …, Mnq) и функции g из формулы (3.2).
	В силу многомерной центральной предельной теоремы (см. главу 14) указанная асимптотическая нормальность имеет место, если, например,

Это условие выполнено, в частности, для результатов измерений, распределения которых сосредоточены на ограниченных сверху и снизу интервалах. 
	При реализации намеченного плана для применения формулы (3.4) необходимо использовать асимптотические дисперсии и ковариации выборочных моментов, т.е. величины, обозначенные в формуле (3.4) как crs. Эти величины имеют вид:

  (3.5)
Здесь μr – теоретический центральный момент порядка r, т.е.

Таким образом, для получения асимптотического распределения случайной величины Yn вида (3.2) достаточно знать теоретические центральные моменты результатов наблюдений и вид функции g. Асимптотическим смещением оценок в рассматриваемом случае можно пренебречь, поскольку его вклад в средний квадрат ошибки статистической оценки – бесконечно малая величина более высокого порядка по сравнению с асимптотической дисперсией. 
	Однако моменты неизвестны. Их приходится оценивать. Согласно теоремам о наследовании сходимости для нахождения асимптотического распределения функции от выборочных моментов можно воспользоваться не теоретическими моментами, а их состоятельными оценками. Эти оценки можно получить разными способами. Можно непосредственно применить формулы (3.5), заменив теоретические моменты выборочными. Можно выразить моменты через параметры рассматриваемого распределения. Можно применять более сложные процедуры, например, на основе непараметрических устойчивых (робастных) оценок моментов типа урезанных средних Пуанкаре и др. (в первой в России книге по общей теории устойчивости [2] проблематика робастных оценок рассмотрена в главе 2).
	Для оценивания параметров гамма-распределения воспользуемся известной формулой [1], согласно которой для случайной величины Х, имеющей гамма-распределение с параметрами формы а, масштаба b =1 и сдвига c=0,  
		(3.6)
Следовательно, M(X) = a, M(X2) = a(a+1), D(X) = M(X2) – (M(X))2 = a(a+1) – a2 = a. Найдем третий центральный момент M(X – M(X))3. Справедливо равенство
M(X – M(X))3 = M(X3) – 3 M(X2) M(X) + 3 M(X) (M(X))2 - (M(X))3.
Из равенства (3.6) вытекает, что 
M(X – M(X))3 = a(a+1)(a+2) – 3 a (a+1) a + 3 a a2 – a3 = 2a.
	Если Y – случайная величина, имеющая гамма-распределение с произвольными параметрами формы a, масштаба b и сдвига c, то Y = bX + c. Следовательно, M(Y) = ab+c, D(Y) = ab2, M(Y – M(Y))3 = 2ab3.
	Пример 2. Оценивание методом моментов параметров гамма-распределения в случае трех неизвестных параметров (строка 7 табл. 3.1).
	В соответствии с проведенными выше рассуждениями для оценивания трех параметров достаточно использовать три выборочных момента – выборочное среднее арифметическое

выборочную дисперсию

и выборочный третий центральный момент

Приравнивая теоретические моменты, выраженные через параметры распределения, и выборочные моменты, получаем систему уравнений метода моментов:

Решая эту систему, находим оценки метода моментов.  Подставляя второе уравнение в третье, получаем оценку метода моментов для параметра сдвига:  

Подставляя эту оценку во второе уравнение, находим оценку метода моментов для параметра формы:

Наконец, из первого уравнения находим оценку для параметра сдвига:

Для реальных данных [1], приведенных выше в табл. 3.2, выборочное среднее арифметическое  = 57,88, выборочная дисперсия s2 = 663,00, выборочный третий центральный момент m3 = 14927,91. Согласно только что полученным формулам оценки метода моментов таковы:
a* = 5,23; b* = 11,26, c* = - 1,01.
	Оценки параметров гамма-распределения, полученные методом моментов, являются функциями от выборочных моментов. В соответствии со сказанным выше они являются асимптотически нормальными случайными величинами. Их распределения аппроксимируются нормальными распределениями, математические ожидания которых равны соответствующим  параметрам, а дисперсии находятся с помощью формулы (3.4) с учетом формул (3.5) и (3.6). В табл. 3.3 приведены оценки метода моментов и их асимптотические дисперсии при различных вариантах сочетания известных и неизвестных параметров гамма-распределения.

Таблица 3.3
Оценки метода моментов и их асимптотические дисперсии
№ п/п	Описание вероятностной модели	Оцени-ваемый пара-метр	Вид оценки	Асимптотическая дисперсия оценки	
	a	b	c				
(1)	(2)	(3)	(4)	(5)	(6)	(7)	
1	-	-	+	a			
2	-	-	+	b			
3	-	-	-	a			
4	-	-	-	b			
5	-	-	-	c			
6	+	-	-	b			
7	+	-	-	c			
8	-	+	-	A			
9	-	+	-	c			
10	+	+	-	c			
	Примечание. При описании вероятностной модели известные статистику параметры отмечены плюсами, оцениваемые – минусами.

	Все оценки метода моментов, приведенные в табл. 3.3, включены в государственный стандарт [1]. Они охватывают все постановки задач оценивания параметров гамма-распределения (см. табл. 3.1) , кроме тех, когда неизвестен только один параметр – a или b. Для этих исключительных случаев в [1] разработаны специальные методы оценивания. 
	Поскольку асимптотическое распределение оценок метода моментов известно, то не представляет труда формулировка правил проверки статистических гипотез относительно значений параметров распределений, а также построение доверительных границ для параметров. Например, в вероятностной модели, когда все три параметра неизвестны, в соответствии с третьей строкой таблицы 3.3 нижняя доверительная граница для параметра а, соответствующая доверительной вероятности γ = 0,95, в асимптотике имеет вид

а верхняя доверительная граница для той же доверительной вероятности такова

где а* - оценка метода моментов параметра формы (табл. 3.3).
	Метод моментов является универсальным. Однако получаемые с его помощью оценки лишь в редких случаях обладают оптимальными свойствами. Поэтому в прикладной статистике применяют и другие виды оценок.
	В работах, предназначенных для первоначального знакомства с математической статистикой, обычно рассматривают оценки максимального правдоподобия (ОМП):
		(3.7)
Таким образом, сначала строится плотность распределения вероятностей, соответствующая выборке. Поскольку элементы выборки независимы, то эта плотность представляется в виде произведения плотностей для отдельных элементов выборки. Совместная плотность рассматривается в точке, соответствующей наблюденным значениям. Это выражение как функция от параметра (при заданных элементах выборки) называется функцией правдоподобия. Затем тем или иным способом ищется значение параметра, при котором значение совместной плотности максимально. Это и есть оценка максимального правдоподобия.
	Хорошо известно, что оценки максимального правдоподобия входят в класс наилучших асимптотически нормальных оценок (строгое определение дано ниже). Однако при конечных объемах выборки в ряде задач ОМП недопустимы, т.к. они хуже (дисперсия и средний квадрат ошибки больше), чем другие оценки, в частности, несмещенные. Именно поэтому в ГОСТ 11.010-81 для оценивания параметров отрицательного биномиального распределения используются несмещенные оценки, а не ОМП [3]. Из сказанного следует: априорно предпочитать ОМП другим видам оценок можно – если можно – лишь на этапе изучения асимптотического поведения оценок.
	В отдельных случаях ОМП находятся явно, в виде конкретных формул, пригодных для вычисления.
	Пример 3. Найдем ОМП для выборки из нормального распределения, каждый элемент которой имеет плотность

Таким образом, надо оценить двумерный параметр (m, σ2).
	Произведение плотностей вероятностей для элементов выборки, т.е. функция правдоподобия, имеет вид
 		(3.8)
Требуется решить задачу оптимизации 

	Как и во многих иных случаях, задача оптимизации проще решается, если прологарифмировать функцию правдоподобия, т.е. перейти к функции
,
называемой логарифмической функцией правдоподобия. Для выборки из нормального распределения
		 (3.9)
	Необходимым условием максимума является равенство 0 частных производных от логарифмической функции правдоподобия по параметрам, т.е.
		 (3.10)
Система (3.10) называется системой уравнений максимального правдоподобия. В общем случае число уравнений равно числу неизвестных параметров, а каждое из уравнений выписывается путем приравнивания 0 частной производной логарифмической функции правдоподобия по тому или иному параметру. 
	При дифференцировании по m первые два слагаемых в правой части формулы (3.9) обращаются в 0, а последнее слагаемое дает уравнение
.
Следовательно, оценкой m* максимального правдоподобия параметра m является выборочное среднее арифметическое, 
.
	Для нахождения оценки дисперсии необходимо решить уравнение

Легко видеть, что

Следовательно, оценкой (σ2)* максимального правдоподобия для дисперсии σ2 с учетом найденной ранее оценки для параметра m является выборочная дисперсия,

Итак, система уравнений максимального правдоподобия решена аналитически, ОМП для математического ожидания и дисперсии нормального распределения – это выборочное среднее арифметическое и выборочная дисперсия. Отметим, что последняя оценка является смещенной. 
	В условиях примера 3 оценки метода максимального правдоподобия совпадают с оценками метода моментов. Причем вид оценок метода моментов очевиден и не требует проведения каких-либо рассуждений.
	В большинстве случаев аналитических решений не существует, для нахождения ОМП необходимо применять численные методы. Так обстоит дело, например, с выборками из гамма-распределения или распределения Вейбулла-Гнеденко. Во многих работах каким-либо итерационным методом решают систему уравнений максимального правдоподобия или впрямую максимизируют функцию правдоподобия типа (3.8).
	Однако применение численных методов порождает многочисленные проблемы. Сходимость итерационных методов требует обоснования. В ряде примеров функция правдоподобия имеет много локальных максимумов, а потому естественные итерационные процедуры не сходятся. Для данных ВНИИ железнодорожного транспорта, относящихся к усталостным испытаниям стали, уравнение максимального правдоподобия имеет 11 корней [3]. Какой из одиннадцати использовать в качестве оценки параметра? 
	Как следствие осознания указанных трудностей, стали появляться работы по доказательству сходимости алгоритмов, предназначенных для нахождения оценок максимального правдоподобия для конкретных вероятностных моделей и конкретных алгоритмов. 
	Однако теоретическое доказательство сходимости итерационного алгоритма – это еще не всё. Возникает вопрос об обоснованном выборе момента прекращения вычислений в связи с достижением требуемой точности. В большинстве случаев он не решен. 
	Но и это не все. Точность вычислений необходимо увязывать с объемом выборки – чем он больше, тем точнее надо находить оценки параметров, в противном случае нельзя говорить о состоятельности метода оценивания. Более того, при увеличении объема выборки необходимо увеличивать и количество используемых в компьютере разрядов, переходить от одинарной точности расчетов к двойной и далее к тройной, четверной и т.д. – опять-таки ради достижения состоятельности оценок. 
	Таким образом, при отсутствии явных формул для оценок максимального правдоподобия нахождение ОМП натыкается на ряд проблем вычислительного характера. Специалисты по математической статистике позволяют себе игнорировать все эти проблемы, рассуждая об ОМП в теоретическом плане. Однако специалисты по прикладной статистике не может их игнорировать. Отмеченные проблемы ставят под вопрос целесообразность практического использования ОМП.
	Нет необходимости абсолютизировать ОМП. Кроме них, существуют другие виды оценок, обладающих хорошими статистическими свойствами. Примером являются одношаговые оценки (ОШ-оценки), обсуждаемые ниже.
	В прикладной статистике разработано много видов оценок. Упомянем квантильные оценки, основанные на идее, аналогичной методу моментов, но только вместо выборочных и теоретических моментов приравниваются выборочные и теоретические квантили. Другая группа оценок базируется на идее минимизации расстояния (показателя различия) между эмпирическими данными и элементом параметрического семейства. В простейшем случае минимизируется евклидово расстояние между эмпирическими и теоретическими гистограммами, а точнее, векторами, составленными из высот столбиков гистограмм. 

3.2. Одношаговые оценки

	Одношаговые оценки имеют столь же хорошие асимптотические свойства, что и оценки максимального правдоподобия, при тех же условиях регулярности, что и ОМП. Грубо говоря, они представляют собой результат первой итерации при решении системы уравнений максимального правдоподобия по методу Ньютона-Ватсона. Одношаговые оценки выписываются в виде явных формул, а потому требуют существенно меньше машинного времени, а также могут применяться при ручном счете (на калькуляторах). Снимаются вопросы о сходимости алгоритмов, о выборе момента прекращения вычислений, о влиянии округлений при вычислениях на окончательный результат. ОШ оценки были использованы при разработке ГОСТ 11.011-83 вместо ОМП.  
	Как и раньше, рассмотрим выборку x1, x2,…, xn из распределения с плотностью f(x;θ0), где f(x;θ0)- элемент параметрического семейства плотностей распределения вероятностей {f(x;θ), θєΘ}. Здесь Θ – известное статистику k-мерное пространство параметров, являющееся подмножеством евклидова пространства Rk, а конкретное значение параметра θ0  неизвестно. Его и будем оценивать.
	Обозначим θ =(θ1, θ2,…, θk). Рассмотрим вектор-столбец частных производных логарифма плотности вероятности

и матрицу частных производных второго порядка для той же функции

	Положим

	Пусть матрица информации Фишера I(θ0) = M[-bn(θ0)] положительно определена.
	Определение 1. Оценку θ(n) параметра θ0 называют наилучшей асимптотически нормальной оценкой (сокращенно НАН-оценкой), если распределение случайного вектора  сходится при n → ∞ к нормальному распределению с математическим ожиданием 0 и ковариационной матрицей I-1(θ0).
	Определение 1 корректно: I-1(θ0) является нижней асимптотической границей для ковариационной матрицы случайного вектора , где θ*(n) – произвольная оценка; кроме ОМП есть и иные НАН-оценки, например, байесовские оценки (см. [3] и др.). Сказанное об ОМП и байесовских оценках справедливо при некоторых условиях регулярности. В ряде случаев несмещенные оценки являются НАН-оценками, более того, они лучше, чем ОМП (их дисперсия меньше), при конечных объемах выборки [3].
	Для анализа реальных данных естественно рекомендовать какую-либо из НАН-оценок. Это утверждение всегда верно на этапе асимптотики при изучении конкретной задачи прикладной статистики. Теоретически можно предположить, что при тщательном изучении для конкретных конечных объемов выборки наилучшей окажется какая-либо оценка, не являющаяся НАН-оценкой. Однако такие ситуации специалистам пока не известны.
	Пусть θ1(n) и  - некоторые оценки θ0 и I-1(θ0) соответственно.
	Определение 2. Одношаговой оценкой (ОШ-оценкой, или ОШО) называется оценка 

	Теорема 1. Пусть выполнены следующие условия.
	(I) Распределение  сходится при n → ∞ к нормальному распределению с математическим ожиданием 0 и ковариационной матрицей I(θ0) и, кроме того, существует     
	(II) При некотором ε > 0 и n → ∞

	(III) Для любого ε > 0

Тогда ОШ-оценка является НАН-оценкой.
	Доказательство. Рассмотрим тождество
   	(3.8)
В силу условия (II) теоремы 
 
(3.9)
Из условия (I) теоремы следует, что первое слагаемое в правой части равенства (3.9) сходится при n → ∞ по распределению к многомерному нормальному закону с математическим ожиданием 0 и ковариационной матрицей I-1(θ0). Согласно  условию (III)

по вероятности. Кроме того, согласно тому же условию последовательность матриц  ограничена по вероятности. Поэтому третье слагаемое в правой части формулы (3.9) сходится к 0 по вероятности. 
	Для завершения доказательства теоремы осталось показать, что
     (3.10)
по вероятности. Левая часть формулы (3.10) преобразуется к виду 
          (3.11)
где Е – единичная матрица. Поскольку из условия (I) теоремы следует, что для bn(θ0) справедлива (многомерная) центральная предельная теорема, то

С учетом условия (III) теоремы заключаем, что 
        (3.12)
Из соотношений (3.11), (3.12) и условия (III) теоремы вытекает справедливость формулы (3.10). Теорема доказана. 
	Прокомментируем условия теоремы. Условия (I) и (II) обычно предполагаются справедливыми при рассмотрении оценок максимального правдоподобия. Эти условия можно выразить в виде требований, наложенных непосредственно на плотность f(x;θ) из параметрического семейства. Условие (III) теоремы, наложенное на исходные оценки, весьма слабое. Обычно используемые оценки θ1(n) и  являются не n-1/4-состоятельными, а -состоятельными, т.е. условие (III) заведомо выполняется.
	Какие оценки годятся в качестве начальных? В качестве θ1(n) можно использовать оценки метода моментов, как это сделано в ГОСТ 11.011-83 [1], или, например, квантильные. В качестве  иногда предлагается использовать простейшую оценку 
      (3.13)
	Для гамма-распределения с неизвестными параметрами формы, масштаба и сдвига ОШ-оценки применены в [1]. При этом оценка (3.13) оказалась непрактичной, поскольку с точностью до погрешностей измерений и вычислений det(bn) = 0 для реальных данных о наработке резцов до предельного состояния, приведенных выше в табл. 3.2 раздела 3.1. Поскольку det(bn) = 0, то обратная матрица не существует, вычисления по формуле (3.13) невозможны. Поэтому в [1] в качестве ОШ-оценки была применена непосредственно первая итерация метода Ньютона-Рафсона решения системы уравнений максимального правдоподобия, т.е. была использована оценка 
      (3.14)
В формуле (3.14) непосредственно используется явный вид зависимости матрицы информации Фишера от неизвестных параметров распределения.
	В других случаях выбор тех или иных начальных оценок, в частности, выбор между (3.13) и (3.14), может определяться, например, простотой вычислений. Можно использовать также устойчивые аналоги [2] перечисленных выше оценок.
	Еще в 1925 г., т.е. непосредственно при разработке метода максимального правдоподобия, его создатель Р.Фишер считал, что первая итерация по методу Ньютона-Рафсона дает хорошую оценку вектору неизвестных параметров [3]. Он, однако, рассматривал эту оценку как аппроксимацию ОМП. А.А.Боровков воспринимает ОШ-оценки как способ «приближенного вычисления оценок максимального правдоподобия» [4, с.225] и показывает асимптотическую эквивалентность ОШ-оценок и ОМП (в более сильных предположениях, чем в теореме 1; другими словами, теорема 1 обобщает результаты А.А. Боровкова относительно ОШ-оценок). Мы же полагаем, что ОШ-оценки имеют самостоятельную ценность, причем не меньшую, а в ряде случаев большую, чем ОМП. По нашему мнению, ОМП целесообразно применять (на этапе асимптотики) только тогда, когда они находятся явно. Во всех остальных случаях следует использовать на этом этапе ОШ-оценки (или какие-либо иные, выбранные из дополнительных соображений).
	С чем связана популярность оценок максимального правдоподобия? Из всех НАН-оценок они наиболее просто вводятся, ранее других предложены. Поэтому среди математиков сложилась устойчивая традиция рассматривать ОМП в курсах математической статистики. Однако при этом игнорируются вычислительные вопросы, а также отодвигаются в сторону другие многочисленные НАН оценки. 
	В прикладной статистике – иные приоритеты. На первом месте – ОШ-оценки, все остальные НАН-оценки, в том числе ОМП, рассматриваются в качестве дополнительных возможностей. 
	Пример 1. Найдем ОШ-оценки для гамма-распределения с плотностью
   (3.15)
Плотность вероятности в формуле (3.15) определяется тремя параметрами a, b, c, где a > 0, b > 0. При этом a является параметром формы, b - параметром масштаба и с - параметром сдвига. Здесь Γ(а) - одна из используемых в математике специальных функций, так называемая «гамма-функция», по которой названо и распределение, задаваемое формулой (3.15),

	Как следует из явного вида плотности (3.15), логарифмическая функция правдоподобия имеет вид: 

а уравнения правдоподобия таковы:

где

	Ясно, что выписанная система нелинейных уравнений не имеет аналитического решения, в отличие от аналогичной системы для семейства нормальных распределений. Построим ОШ-оценки для задачи оценивания трех неизвестных параметров [1]. 
	В качестве начальных оценок θ1(n) будем использовать оценки метода моментов (см. раздел 3.1):

где  - выборочное среднее арифметическое, s2 – выборочная дисперсия, m3 – выборочный третий центральный момент. 
	Матрица информации Фишера согласно [3] при a > 2 имеет вид
     	(3.16)
	Вектор-столбец частных производных логарифма плотности вероятности

имеет координаты

Таким образом, для получения sn(a*, b*, c*) необходимо вычислить две суммы

и произвести еще несколько арифметических действий, число которых не зависит от объема выборки.
	Одношаговые оценки an, bn, cn для параметров гамма-распределения вычисляют по формуле

где I-1 – обратная матрица к матрице информации Фишера I, заданной формулой (3.16). Матрицу I-1 нетрудно рассчитать аналитически. Формулы для нахождения одношаговых оценок расписаны в [1]. Расчеты облегчает то обстоятельство, что для гамма-распределения вторая координата вектора sn(a*, b*, c*) тождественно равна 0, т.е. 
sn(2)(a*, b*, c*) ≡ 0.
	При n → ∞ распределение вектора оценок (an, bn, cn) приближается трехмерным нормальным распределением с математическим ожиданием, равным вектору истинных значений параметров (a, b, c), и ковариационной матрицей I-1(an, bn, cn). На этом приближении основаны правила расчета доверительных границ для параметров гамма-распределения [1]. Дисперсии оценок неизвестны, но зато имеются известные статистику зависимости этих дисперсий от параметров гамма-распределения. Эти зависимости непрерывные. Они стоят на главной диагонали ковариационной матрицы I-1(an,bn, cn). Поэтому можно вместо неизвестных параметров подставить в них оценки этих параметров и на основе принципа наследования сходимости (см. главу 14 настоящего учебника) получить состоятельные оценки дисперсий. Затем на основе оценок дисперсий обычным образом строятся доверительные интервалы для параметров гамма-распределения. 
	В табл. 3.4 приведены результаты реализации описанной выше схемы расчетов - точечные и интервальные (при односторонней доверительной вероятности 0,95) оценки параметров гамма-распределения для данных, содержащихся в табл. 3.2 предыдущего пункта 3.1.

Таблица 3.4
Одношаговые оценки и доверительные границы
для параметров гамма-распределения
Параметр	Одношаговая оценка	Верхняя довери-тельная граница	Нижняя довери-тельная граница	
Формы	7,32	16,41	-1,77	
Масштаба	8,77	15,24	2,30	
Сдвига	- 11,46	23,28	- 46,20	

	Приведенные в табл. 3.4 данные получены на основе асимптотических формул. Из-за конечности объема выборки необходимо внести некоторые коррективы. Поскольку параметр формы всегда положителен, a > 0, то нижняя доверительная граница для этого параметра должна быть неотрицательна, следует положить aH = 0. Поскольку плотность гамма-распределения положительна только правее параметра с, то, очевидно, c < xmin = 9,00, верхняя доверительная граница для параметра сдвига должна быть заменена на cB = 9,00. 
	Может ли параметр сдвига быть отрицательным в данной прикладной задаче? Отрицательность параметра сдвига означает, что с положительной вероятностью рассматриваемая случайная величина отрицательна. Т.е. наработка резца до предельного состояния отрицательна. Ясно, что такого быть не может, хотя для специалиста по математической статистике отрицательность параметра сдвига вполне приемлема. Однако специалист по прикладной статистике должен признать неотрицательность параметра с при обработке данных, составляющих рассматриваемую выборку. Следовательно, нижнюю доверительную границу для параметра сдвига необходимо заменить на сн = 0.
	Как следует из проведенных выше рассуждений и выкладок [1], отношение дисперсий оценок метода моментов и ОШ-оценок имеет вид
		(3.17)
при больших а. 
	Это отношение, как и должно быть из общих соображений, всегда меньше 1. Отношение дисперсий возрастает при приближении к 0 коэффициента асимметрии распределения. Если a > 39,1 (коэффициент асимметрии меньше 0,102), то эффективность оценки метода моментов превышает 80%. При а = 20 (коэффициент асимметрии 0,20) она равна 65%. При безграничном росте параметра формы а гамма-распределение приближается к нормальному, для которого оценки метода моментов и ОМП совпадают, а потому имеют равные дисперсии. Поэтому вполне естественно, что отношение дисперсий в формуле (3.17) стремится к 1 при безграничном росте параметра формы а.
	Хотя дисперсии оценок метода моментов, как правило, больше, чем дисперсии НАН-оценок, таких, как ОШО и ОМП, метод моментов играет большую роль в статистических методах. Во-первых, обычно расчет оценок метода моментов проще (в частности, требует меньшего числа компьютерных операций), чем оценок других типов. К тому же оценки находятся с помощью выборочных моментов, которые, как правило, вычисляются на этапе описания статистических данных. Во-вторых, они служат основой для вычисления оценок других типов, например, ОШО. Для запуска итерационных методов нахождения ОМП также нужны начальные значения, и ими обычно являются оценки метода моментов. В-третьих, если учитывать погрешности результатов наблюдений, то оценки метода моментов могут оказаться точнее ОМП и асимптотически эквивалентных им ОШО, как это показано в статистике интервальных данных [3]. 
	Методы оценивания параметров гамма-распределения и примеры расчетов для всех семи постановок, перечисленных в табл. 3.1 раздела 3.1, приведены в [1]. Большинство из них основано на асимптотических (при n → ∞) теоретических результатах прикладной статистики. Методом статистических испытаний (Монте-Карло) показано, что уже при n > 10 используемые приближения удовлетворительны. Другими словами, асимптотической нормальностью оценок и другими важными для проведенных выше рассуждений предельными результатами можно пользоваться уже при  n > 10.
	Алгоритмическое и программное обеспечение ОШ-оценок для распределения Вейбулла-Гнеденко и гамма-распределения рассмотрено в содержательной монографии [5]. История вопроса освещена в монографии [3].

3.3. Асимптотика решений экстремальных статистических задач

	Если проанализировать приведенные в [3, 6] постановки и результаты, касающиеся эмпирических и теоретических средних и законов больших чисел (в пространствах произвольной природы), то становится очевидной возможность их обобщения. Так, доказательства теорем практически не меняются, если считать, что функция f(x,y) определена на декартовом произведении бикомпактных различных пространств X и Y, а не на X2. Тогда можно считать, что элементы выборки лежат в Х, а Y - пространство параметров, подлежащих оценке. 
	Обобщения законов больших чисел. Пусть, например, выборка х1 = х1(ω),  х2 = х2(ω), … , хn = хn(ω) взята из распределения с плотностью p(x,y), где у – неизвестный параметр. Если положить
f(x,y) = - ln p(x,y),
то задача нахождения эмпирического среднего 

переходит в задачу оценивания неизвестного параметра y методом максимального правдоподобия
.
Соответственно законы больших чисел переходят в утверждения о состоятельности этих оценок в случае пространств X и Y общего вида. 	При такой интерпретации функция f(x,y) уже не является расстоянием или показателем различия, как при определении теоретических и эмпирических средних. Однако для доказательства сходимости оценок к соответствующим значениям параметров это и не требуется. Достаточно, например, непрерывности этой функции на декартовом произведении бикомпактных пространств X и Y.
	В случае функции f(x,y) общего вида можно говорить об определении в пространствах произвольной природы оценок минимального контраста и их состоятельности. При этом при каждом конкретном значении параметра у справедливо предельное соотношение

где f – функция контраста. Тогда состоятельность оценок минимального контраста вытекает из справедливости предельного перехода
.
Частными случаями оценок минимального контраста являются, устойчивые (робастные) оценки Тьюки-Хубера (см. ниже), а также оценки параметров в задачах аппроксимации (параметрической регрессии) в пространствах произвольной природы. 
	Можно пойти и дальше в обобщении законов больших чисел. Пусть известно, что при каждом конкретном y при безграничном росте n имеет быть сходимость по вероятности
fn(, y)  f(y),
где fn(ω, y) – последовательность случайных функций на пространстве Y, а f(y) – некоторая функция на У. В каких случаях и в каком смысле имеет место сходимость
Argmin {fn(, y), yX}  Argmin {f(y), y X}? 
	Другими словами, когда из поточечной сходимости функций вытекает сходимость множеств, в которых эти функции достигают минимума? 
	Причем здесь можно под n понимать натуральное число. А можно рассматривать сходимость по направленному множеству (глава 14 настоящего учебника), или же, что практически то же самое – «сходимость по фильтру» в смысле Картана и Бурбаки. В частности, можно описывать ситуацию вектором, координаты которого - объемы нескольких выборок, и все они безгранично растут.  
	Поскольку основные задачи прикладной статистики можно представить в виде оптимизационных задач, то ответ на поставленный вопрос о сходимости точек минимума дает возможность единообразного подхода к изучению асимптотики решений разнообразных экстремальных статистических задач. Одна из возможных формулировок, основанная на бикомпактности пространств Х и У и нацеленная на изучение оценок минимального контраста, кратко рассмотрена выше. Другой подход, развитый в нашей работе [7], основан на использовании понятий асимптотической равномерной разбиваемости и координатной асимптотической равномерной разбиваемости пространств. С помощью указанных подходов удается стандартным образом обосновывать состоятельность оценок характеристик и параметров в основных задачах прикладной статистики. 
	Рассматриваемую тематику можно развивать дальше, в частности, рассматривать аналоги законов больших чисел в случае пространств, не являющихся бикомпактными, а также изучать скорость сходимости Argmin{fn(x(), y), yX} к Argmin{f(y), y X}. 
	Приведем примеры применения результатов о предельном поведении точек минимума.
	Задача аппроксимации зависимости (параметрической регрессии). Пусть X и Y – некоторые пространства. Пусть имеются статистические данные - n пар (xk, yk), где xk  X, yk  Y, k = 1, 2, …, n. Задано параметрическое пространство Θ произвольной природы и семейство функций g(x,θ): X×Θ → Y. 
	Требуется подобрать параметр θ  Θ так. чтобы g(xk ,θ) наилучшим образом приближали yk, k = 1, 2, …, n. 
	Пусть fk – последовательность показателей различия в У. При сделанных предположениях параметр θ естественно оценивать путем решения экстремальной задачи:
.		(3.18)
	Часто, но не всегда, все fk совпадают. В классической постановке, когда Х = Rk, У = R1, функции fk различны при неравноточных наблюдениях, например, когда число опытов меняется от одной точки х проведения опытов к другой. 
	Если fk(y1,y2) = f(y1,y2) = (y1- y2)2, то получаем общую постановку метода наименьших квадратов (см. подробности в главе 6):
.
	В рамках детерминированного анализа данных остается единственный теоретический вопрос – о существовании θn. Если все участвующие в формулировке задачи (3.18) функции непрерывны, а минимум берется по бикомпакту, то θn существует. Есть и иные условия существования θn [6, 7]. 
	При появлении нового наблюдения х в соответствии с методологией восстановления зависимости рекомендуется выбирать оценку соответствующего у по правилу
у* = g(x, θn).
Обосновать такую рекомендацию в рамках детерминированного анализа данных невозможно. Это можно сделать только в вероятностной теории, равно как и изучить асимптотическое поведение θn, в частности, доказать состоятельность этой оценки. 
	Как и в классическом случае, вероятностную теорию целесообразно строить для трех различных постановок. 
	1. Переменная х – детерминированная (например, время), переменная у – случайная, ее распределение зависит от х. 
	2. Совокупность (xk, yk), k = 1, 2, …, n, – выборка из распределения случайного элемента со значениями в Х×У.
	3. Имеется детерминированный набор пар (xk0, yk0), k = 1, 2, …, n, результат наблюдения (xk, yk) является случайным элементом, распределение которого зависит от (xk0, yk0). Это – постановка т.н. конфлюэнтного анализа.
	Во всех трех случаях 
,
однако случайность входит в правую часть по-разному в зависимости от постановки, от которой зависит и определение предельной функции f(θ). 
	Проще всего выглядит f(θ) в случае второй постановки при fk ≡ f:
f(θ) = Mf(g(x1,θ),y).
В случае первой постановки 

в предположении существования указанного предела. Ситуация усложняется для третьей постановки:
.
	Во всех трех случаях на основе общих результатов о поведении решений экстремальных статистических задач можно изучить [3, 6, 7] асимптотику оценок θn. При выполнении соответствующих внутриматематических условий регулярности оценки оказываются состоятельными, т.е. удается восстановить зависимость.
	Аппроксимация и регрессия. Соотношение (3.18) дает решение задачи аппроксимации. Поясним, как эта задача соотносится с нахождением регрессии. Согласно [6] для случайной величины (ξ, η) со значениями в Х×У регрессией η на ξ относительно меры близости f естественно назвать решение задачи 
Mf(g(ξ), η) → ,		(3.19)
где f: Y×Y → R1, g: X → Y, минимум берется по множеству всех измеримых функций {g}. 
	Можно исходить и из другого определения. Для каждого хХ рассмотрим случайную величину η(х), распределение которой является условным распределением η при условии ξ = х. В соответствии с определением математического ожидания в пространстве общей природы назовем условным математическим ожиданием решение экстремальной задачи
.
Оказывается, при обычных предположениях измеримости решение задачи (3.19) совпадает с . (Внутриматематические уточнения типа «равенство имеет место почти всюду» здесь опущены.) 
	Если заранее известно, что условное математическое ожидание  принадлежит некоторому параметрическому семейству g(x,θ), то задача нахождения регрессии сводится к оцениванию параметра θ в соответствии с рассмотренной выше второй постановкой вероятностной теории параметрической регрессии. Если же нет оснований считать, что регрессия принадлежит параметрическому семейству, то можно использовать непараметрические оценки регрессии. Они строятся с помощью непараметрических оценок плотности [3, 6]. Способы построения непараметрических оценок плотности рассмотрены в главе 2.
	Пусть ν1 – мера в Х, ν2 – мера в У, а их прямое произведение ν = ν1×ν2 – мера в Х×У. Пусть g(x,y) – плотность случайного элемента (ξ,η) по мере ν. 
	Тогда условная плотность g(y|x) распределения η при условии ξ = х имеет вид
		(3.20)
(в предположении, что интеграл в знаменателе отличен от 0). Следовательно,
,
а потому
.
	Заменяя g(x,y) в (3.20) непараметрической оценкой плотности gn(x,y), получаем оценку условной плотности
.		(3.21)
Если gn(x,y) – состоятельная оценка g(x,y), то числитель (3.21) сходится к числителю (3.20). Сходимость знаменателя (3.21) к знаменателю (3.20) обосновывается с помощью предельной теории статистик интегрального типа [3, 6]. В итоге получаем утверждение о состоятельности непараметрической оценки (3.21) условной плотности, заданной формулой (3.20). 
	Непараметрическая оценка регрессии ищется как
.
Состоятельность этой оценки следует из приведенных выше общих результатов об асимптотическом поведении решений экстремальных статистических задач. 
	Применение к методу главных компонент. Исходные данные – набор векторов ξ1, ξ2, … , ξn, лежащих в евклидовом пространстве Rk размерности k. Цель состоит в снижении размерности, т.е. в уменьшении числа рассматриваемых показателей. Для этого берут всевозможные линейные ортогональные нормированные центрированные комбинации исходных показателей, получают k новых показателей, из них берут первые m, где m < k (подробности см. в главе 6.5). 
	Матрицу преобразования С выбирают так, чтобы максимизировать информационный функционал
,		(3.22)
где x(i), i = 1, 2, … , k, - исходные показатели; исходные данные имеют вид ξj = (xj(1), xj(2), … , xj(k)), j = 1, 2, … , n; при этом z(α), α = 1, 2, … , m, - комбинации исходных показателей, полученные с помощью матрицы С. Наконец, s2(z(α)), α = 1, 2, … , m, s2(x(i)), i = 1, 2, … , k, - выборочные дисперсии переменных, указанных в скобках. 
	Укажем подробнее, как новые показатели (главные компоненты) z(α) строятся по исходным показателям x(i) с помощью матрицы С:
,
где
.
Матрица C = ||cαβ|| порядка m×k такова, что  
		(3.23)
(матрица С является нормированной),
		(3.24)
(матрица С является ортогональной).
	Решением основной задачи метода главных компонент является 
,
где минимизируемая функция определена формулой (3.22), а минимизация проводится по всем матрицам С, удовлетворяющим условиям (3.23) и (3.24).
	Вычисление матрицы Сn – задача детерминированного анализа данных. Однако, как и в иных случаях, например, для медианы Кемени, возникает вопрос об асимптотическом поведении Сn. Является ли решение основной задачи метода главных компонент устойчивым, т.е. существует ли предел Сn при n → ∞? Чему равен этот предел? 
	Ответ, как обычно, может быть дан только в вероятностной теории. Пусть ξ1, ξ2, … , ξn - независимые одинаково распределенные случайные вектора. Положим 
,
где матрица C = ||cαβ|| удовлетворяет условиям (3.22) и (3.23). Введем функцию от матрицы
.
Легко видеть, что при n → ∞ и любом С
.
Рассмотрим решение предельной экстремальной задачи
.
Естественно ожидать, что
.
Действительно, это соотношение вытекает из приведенных выше общих результатов об асимптотическом поведении решений экстремальных статистических задач. 
	Таким образом, теория, развитая для пространств произвольной природы, позволяет единообразным образом изучать конкретные процедуры прикладной статистики.

3.4. Робастность статистических процедур

	Термин «робастность» (robustness - англ.) образован от robust - крепкий, грубый (англ.). Сравните с названием одного из сортов кофе - robusta. Имеется в виду, что робастные статистические процедуры должны «выдерживать» ошибки, которые теми или иными способами могут попадать в исходные данные или искажать предпосылки используемых вероятностно-статистических моделей. 
	Термин «робастный» стал популярным в нашей стране в 1970-е гг. Сначала он использовался фактически как сужение термина «устойчивый» на алгоритмы статистического анализа данных классического типа (не включая теорию измерений, статистику нечисловых и интервальных данных). Затем реальная сфера его применения сузилась. 
	Пусть исходные данные - это выборка, т.е. совокупность независимых одинаково распределенных случайных величин с одной и той же функцией распределения F(x). Наиболее простая модель изучения устойчивости - это модель засорения
		(3.25)
	Эта модель называется также моделью Тьюки - Хубера. (Джон Тьюки - американский исследователь, П. Хубер, или Хьюбер - швейцарский ученый.) Модель (3.25) показывает, что с близкой к 1 вероятностью, а именно, с вероятностью  наблюдения берутся из совокупности с функцией распределения  которая предполагается обладающей «хорошими» свойствами. Например, она имеет известный статистику вид (хотя бы с точностью до параметров), у нее существуют все моменты, и т.д. Но с малой вероятностью  появляются наблюдения из совокупности с «плохим» распределением (например, взятые из распределения Коши, не имеющего математического ожидания), резко выделяющиеся аномальные наблюдения, выбросы. 
	Актуальность модели (3.25) не вызывает сомнений. Наличие засорений (выбросов) может сильно исказить результаты эконометрического анализа данных. Например, пусть функция распределения элементов выборки имеет вид (3.25). Причем первое слагаемое соответствует случайной величине с конечным математическим ожиданием, а второе - такой случайной величине, для которой математического ожидания не существует. Тогда для итоговой функции распределения также не существует математического ожидания. Исследователя обычно интересуют характеристики первого слагаемого, но найти их, т.е. освободиться от влияния засорения, не так-то просто. Например, среднее арифметическое результатов наблюдений не будет иметь никакого предела (это - строгое математическое утверждение, вытекающее из того, что математическое ожидание не существует [3]).
	Существуют различные способы борьбы с засорением. Эмпирическое правило найдено в фигурном катании: при подведении итогов работы команды судей наибольшая и наименьшая оценки отбрасываются, а по остальным рассчитывается средняя арифметическая. Ясно, что единичное «засорение» окажется среди отброшенных оценок. 
	Оценивать характеристики и параметры, проверять статистические гипотезы, вообще осуществлять статистический анализ данных все чаще рекомендуют на основе эмпирических квантилей (другими словами, порядковых статистик, членов вариационного ряда), отделенных от концов вариационного ряда. Речь идет об использовании статистик вида
,
где a, b, c, d, e – заданные числа, x(0,1n), x(0,3n), x(0,5n), x(0,7n), x(0,9n) – члены вариационного ряда с номерами, наиболее близкими к числам, указанным в скобках. Так ценой небольшой потери в эффективности оценок избавляемся от влияния засоренности типа описанной в модели (3.25).
	Вариантом этого подхода является переход к сгруппированным данным. Отрезок прямой, содержащий основную часть наблюдений, разбивается на интервалы, и вместо количественных значений статистик подсчитывает лишь, сколько наблюдений попало в те или иные интервалы. Особое значение приобретают крайние интервалы - к ним относят все наблюдения, которые больше некоторого верхнего порога и меньше некоторого нижнего порога. Любым методам анализа сгруппированных данных резко выделяющиеся наблюдения не страшны.
	Можно поставить под сомнение и саму опасность засорения. Дело в том, что практически все реально наблюдающиеся величины ограничены. Все они лежат на каком-то интервале - от и до. Это совершенно ясно, если речь идет о физическом измерении - все результаты измерений укладывается в шкалу прибора. По-видимому, и для иных статистических измерений наибольшие сложности создают не сверхбольшие помехи, а те засорения, что находятся «на грани» между «интуитивно возможными значениями» и «интуитивно невозможными». 
Что же это означает для практики статистического анализа данных? Если элементы выборки по абсолютной величине не превосходят числа А, то все возможные засорения могут сдвинуть среднее арифметическое на величину не более  Если засорение невелико, то и сдвиг мал. 
Построена достаточно обширная и развитая теория, посвященная разработке и изучению методов анализа данных в модели (3.25). С ней можно познакомиться по многочисленным публикациям. К сожалению, в теории обычно предполагается известной степень засорения , а на практике эта величина неизвестна. Кроме того, теория обычно направлена на защиту от воздействий, якобы угрожающих из бесконечности (например, отсутствием математического ожидания), а на самом деле реальные данные финитны (сосредоточены на конечных отрезках). Все это объясняет, почему теория робастности, исходящая из модели (3.25), популярна среди теоретиков, но мало интересна тем, кто анализирует реальные технические, экономические, медицинские и иные статистические данные. 
Рассмотрим несколько более сложную модель. Пусть наблюдаются реализации  независимых случайных величин с функциями распределения  соответственно. Эта модель соответствует гипотезе о том, что в процессе наблюдения (измерения) условия несколько менялись. 
	Естественной представляется модель малых отклонений функций распределений наблюдаемых случайных величин от некоторой «базовой» функции распределения . Множество возможных значений функций распределений наблюдаемых случайных величин (т.е. совокупность допустимых отклонений согласно общей схеме устойчивости, рассмотренной в главе 14) описывается следующим образом: 

	Следующий тип моделей - это введение малой (т.е. слабой) зависимости между рассматриваемыми случайными величинами. Ограничения на взаимную зависимость можно задать разными способами. Пусть  - совместная функция распределения n-мерного случайного вектора, F1(x1), F2(x2), … , Fn(xn) – функции распределения его координат. Если все координаты независимы, то  = F1(x1)F2(x2)…Fn(xn). Пусть коэффициент корреляции между i-ой и j-ой случайными величинами – координатами вектора. Множество возможных совместных функций распределения (т.е. совокупность допустимых отклонений от ситуации независимости координат согласно общей схеме устойчивости, рассмотренной в главе 14) описывается следующим образом:

Таким образом, фиксируются функции распределения координат, а коэффициенты корреляции предполагаются малыми (по абсолютной величине).
	Есть еще целый ряд постановок задач робастности. Если накладывать погрешности непосредственно на результаты наблюдений (измерений) и предполагать лишь, что эти погрешности не превосходят (по абсолютной величине) заданных величин, то получаем постановки задач статистики интервальных данных [3, 6]. При этом каждый результат наблюдения превращается в интервал - исходное значение плюс-минус максимально возможная погрешность. 
	Разработано много вариантов робастных методов анализа статистических данных. Иногда говорят, что робастные методы позволяют использовать информацию о том, что реальные наблюдения лежат «около» тех или иных параметрических семейств, например, нормальных. В этом, дескать, их преимущество по сравнению с непараметрическими методами, которые предназначены для анализа данных, распределенных согласно произвольной непрерывной функции распределения. Однако количественных подтверждений этих уверений энтузиастам робастных методов обычно не удается найти. В основном потому, что термин «около» трудно формализовать.
	На примере сравнения различных подходов к изучению робастности статистических процедур оценивания и проверки гипотез видны сложности, связанные с изучением устойчивости. Дело в том, что для каждой конкретной статистической задачи можно самыми разными способами задать совокупность допустимых отклонений. Так, выше кратко рассмотрены четыре такие совокупности, соответствующие
	1) модели засорения Тьюки – Хубера; 
	2) модели малых отклонений функций распределения; 
	3) модели слабых связей; 
	4) модели интервальных данных. 
	В каждой из этих моделей общая схема устойчивости (глава 14 настоящего учебника) предлагает для решения целый спектр задач устойчивости. Кроме изучения свойств робастности известных статистических процедур можно в каждой из постановок находить оптимальные процедуры. Однако практическая ценность этих оптимальных процедур, как правило, невелика, поскольку в других постановках оптимальными будут уже другие процедуры. 

3.5. Оценивание для сгруппированных данных 

	При вычислении различных статистических характеристик часто пользуются сгруппированными данными. Мы рассматриваем погрешность группировки как один из видов погрешностей наблюдений. До появления мощных компьютеров группировку проводили для облегчения расчетов. К сожалению, устаревшие рекомендации по обязательному проведению группировки укоренились в курсах по «общей теории статистики». В отмененном из-за низкого научного уровня ГОСТ 11.006-74 (СТ СЭВ 1190-78) «Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим» группировку предписывалось проводить даже при проверке согласия с помощью критериев Колмогорова и омега-квадрат, что приводит к прямым ошибкам. 
	В современных условиях нет необходимости сокращать число арифметических операций при анализе статистических данных. Вместо гистограмм для описания распределения в настоящее время рекомендуют использовать непараметрические оценки плотности. Однако с существующей традицией приходится считаться, для борьбы с ней надо знать влияние группировки данных на статистические характеристики.
	Другая причина использования сгруппированных данных – неточность измерений, приводящих либо к автоматическому (с помощью средств измерения) округлению, либо к округлению, проводимому специалистом, осуществляющим измерение.  
	В настоящем разделе рассмотрим статистические методы анализа сгруппированных данных. Начнем с одномерных данных. 
	Вероятностная модель группировки. Пусть выборка объема n взята из распределения числовой случайной величины Х с плотностью вероятности f(x). Пусть элементы выборки сгруппированы по интервалам длины h, центры которых находятся в точках ai = a0 + ih, где i = 0, +1, +2, … (Поскольку вероятность попадания в точку соприкосновения интервалов равна 0, то нет необходимости указывать, к какому из интервалов относятся такие точки.) В таких случаях при вычислении моментов и других выборочных характеристик по сгруппированным данным обычно предполагается, что все выборочные значения, принадлежащие некоторому интервалу, совпадают с центром этого интервала. Тогда фактически рассматривается выборка из дискретного распределения, в соответствии с которым случайная величина Y принимает значения ai = a0 + ih с вероятностями 
.
	Пользуясь сгруппированными данными, оценивают те или иные выборочные характеристики, например, моменты 
.
	Во многих случаях исследователя интересуют не эти «групповые» моменты, а моменты исходной непрерывно случайной величины Х:
.
Поэтому важно изучить соотношения между этими двумя множествами моментов. Оказывается, при некоторых внутриматематических условиях регулярности приближенные значения моментов M(Xk) можно получить, прибавляя некоторые поправки к «групповым» моментам M(Yk).
	Групповые моменты запишем в виде

где 

	Для решения поставленной задачи полезной оказывается формула Эйлера-Маклорена. В настоящем разделе нам понадобится также ее обобщение, полученное в [8].
	Обобщение формулы Эйлера-Маклорена. В различных статистических методах анализа данных используются дискретные распределения. Возникает необходимость вычисления сумм следующего вида:
,
где g(x) – достаточно гладкая функция. 
	Другими словами, требуется просуммировать значения функции g(x) в n точках, отстоящих друг от друга на расстояние h, начиная с точки a. Типичным примером является суммирование биномиальных вероятностей с целью вычисления попадания биномиально распределенной случайной величины в заданный интервал. 
	Классическая формула Эйлера-Маклорена такова [9, п.465]:

Здесь Rm – остаточный член порядка hm, выражение для которого приведено в [9, с.540], 
,
где Bp есть p-е число Бернулли [9, п.449]. В частности,
.
	Очевидным недостатком классической формулы Эйлера-Маклорена является ее несимметричность – левый конец отрезка [a, a+nh], по которому проводится интегрирование, входит в число точек, значения функции в которых суммируется, а правый – нет. Этот недостаток связан с тем, что каждому слагаемому в рассматриваемой сумме ставится в соответствие отрезок длины h, значение функции g(x) в левом конце которого и есть рассматриваемое слагаемое. В результате нет симметричности – формула меняется при изменении направления оси х-ов.
	Чтобы избавиться от несимметричности, достаточно слагаемому g(x0) (где x0 = a + (i – 1)h при некотором i) поставить в соответствие отрезок . Опишем подход к получению асимптотических разложений, впервые предложенный в статье [8] в связи с изучением скорости сходимости распределения классической статистики омега-квадрат (Крамера-Мизеса-Смирнова) к предельному распределению. Будем исходить из формулы Тейлора с дополнительным членом в виде определенного интеграла [9, п.318]:
.
Проинтегрируем почленно обе части этого равенства по x по отрезку отрезок . Получим, что

(при четном m). Весьма важно, что обращаются в 0 все интегралы, соответствующие нечетным степеням. 
	Из только что полученного соотношения следует, что
,
где Qm – остаточный член, указанный в предыдущей формуле.
	Применим аналогичную процедуру ко второй производной - функции g’’(x). Исходим из формулы Тейлора

Интегрируя, получаем, что 
,
откуда 
	Подставляя в формулу для g(x0)h, получаем, что

	Дальше можно провести аналогичные выкладки для четвертой производной, и т.д. С помощью продемонстрированного подхода можно получить, например, следующий результат:
,
где 

	Таким образом, справедливо следующее соотношение, напоминающее классическую формулу Эйлера-Маклорена:
	Сравнение с классической формулой Эйлера-Маклорена показывает, что в последней формуле отсутствует первый член асимптотического разложения, соответствующий , а коэффициенты при остальных членах меньше по абсолютной величине:

Полученная формула симметрична – не меняется при изменении направлении оси x-ов. 
	Из сказанного вытекает рекомендация: вместо классической формулы Эйлера-Маклорена употреблять полученную нами в статье [8] формулу, в которой каждому входящему в сумму значению аргумента ставится в соответствие отрезок, для которого это значение является центром. 
	Полученная формула позволила построить компактные таблицы для специальных функций, используемых при оценивании параметров гамма-распределения, и вывести формулы для использования вне таблиц, что оказалось весьма полезным при разработке государственного стандарта ГОСТ 11.011-83 [1]. Многомерный аналог полученной формулы, в котором каждой точке целочисленной решетки ставился в соответствие прямоугольный параллелепипед, для которого эта точка являлась центром, позволил разработать оригинальный метод оценивания скорости сходимости распределений непараметрических статистик типа Колмогорова, Смирнова и омега-квадрат [8]. 
	Поправки Шеппарда. С помощью формулы Эйлера-Маклорена групповые моменты M(Yk) могут быть выражены линейными функциями от «истинных» моментов M(Xk) (в предположении, что остаточным членом можно пренебречь). Решая последовательно уравнения относительно «истинных» моментов M(Xk), получаем:

	Таким образом, получены поправки к результатам расчетов по сгруппированным данным, позволяющие более точно оценить моменты исходного распределения. Эти поправки впервые выведены В.Ф. Шеппардом в 1898 г. и поэтому называются в статистической литературе «поправками Шеппарда». Общая формула имеет вид:
,
где Bj – числа Бернулли [9, п.449].
	Хотя поправки Шеппарда получены еще в XIX веке, статистическая теория обработки сгруппированных данных продолжает развиваться. В данном разделе рассмотрена непараметрическая многомерная постановка, в которой границы группировки задаются статистиком. Параметрическую теорию развивал Г. Куллдорф. Модель группировки со случайным сдвигом начала координат изучал Н.А. Бодин. 
	Многомерная группировка. Дадим описание группировки данных в случае m-мерного случайного вектора Z = (Z1, Z2, …, Zm) с плотностью распределения p(x1, x2, …, xm). Пусть выборочные значения координаты Zi группируются по интервалам длины hi со средними точками (центрами) ai,k = ai + khi, k = 0, +1, +2, … Вектор h = (h1, h2, …, hm) назовем шагом группировки. При вычислении выборочных характеристик предполагается, что все выборочные значения вектора Z, координаты которого удовлетворяют неравенствам

совпадают с центром (a1,k(1), a2,k(2), …, am,k(m)) данного m-мерного прямоугольного параллелепипеда, т.е. фактически мы обрабатываем выборочные значения дискретного m-мерного вектора W = (W1, W2, …, Wm) с распределением  
,
где
.
	Представляется естественным разложить разность между характеристиками вектора W и характеристиками вектора Z по степеням координат шага группировки и оценить возникающий при этом остаточный член. Таким образом, мы хотим получить обобщение поправок Шеппарда для моментов.
	Будем рассматривать характеристики вида Mf(Z), где f – достаточно гладкая функция.
	Поправки на группировку для коэффициента корреляции. В качестве примера рассмотрим коэффициент корреляции  (точнее, линейный парный коэффициент корреляции Пирсона – см. раздел 6.1). Для удовлетворяющей некоторым условиям регулярности [3] плотности p(x1, x2) справедливы соотношения

при достаточно малых h1 и h2 с точностью до членов более высокого порядка по h1 и h2. Из приведенных соотношений и определения коэффициента корреляции  с помощью элементарных преобразований получаем, что 

с той же точностью. Поскольку при малых y
,
то при достаточно малых h1 и h2 с точностью до членов более высокого порядка 

Из последней формулы вытекает, что

с той же точностью. Воспользовавшись приведенными выше соотношениями для вторых моментов координат двумерного вектора, получаем окончательную формулу
,
в которой поправка на группировку определяется только по сгруппированным данным.
	Полученная поправка на группировку для коэффициента корреляции рекомендуется для использования в практических вычислениях. Отметим, что группировка приводит к уменьшению коэффициента корреляции (по абсолютной величине): 
.
	Поправка на группировку для коэффициента корреляции получена в порядке полемики с публикацией, в которой без какого-либо основания утверждалось, что при группировке коэффициент корреляции увеличивается.
	Асимптотические поправки на группировку. Перейдем к общему случаю. Будем использовать следующий многомерный аналог классической формулы Эйлера-Маклорена: 

где Zm – множество точек с целыми координатами m-мерного пространства Rm, функция  абсолютно интегрируема, C(t,m) – совокупность всех подмножеств мощности t множества {1,2,…,m} и 

	Справедлив следующий многомерный аналог приведенного ранее обобщения одномерной классической формулы Эйлера-Маклорена:

(в этой формуле x = (x1, x2, …, xm), соответственно, dx = dx1dx2…dxm, используются введенные ранее обозначения). Описан закон получения членов разложения и указана оценка остаточного члена [10]. Однако в общем случае они весьма громоздки, поэтому ограничимся несколькими доведенными до числа примерами.
	Пусть m = 2, вектор (Z1, Z2) имеет нормальное распределение. Тогда

.
На основе описанных выше общих результатов можно получить точные формулы и оценки остаточных членов в этих формулах. Оказывается, остаточные члены R(M(Zj)) и R(D(Zj)), j = 1, 2, весьма малы даже при достаточно большом шаге группировки. Так,

и |R(M(Zj))| не превосходит  при hj  и не превосходит  при hj , где , а aj –начало отсчета по j-й координате, j = 1,2.
	Полученные оценки зависят от M(Zj) – aj. Так, при aj - M(Zj) = hj/4 относительная погрешность определения истинной дисперсии по сгруппированной с использованием поправок Шеппарда, т.е. 
,
не превосходит 6,8×10-2 при hj , меньше 0,25×10-2 при hj  и 6,8×10-11 при hj . 
	Таким образом (это подтверждается равномерной оценкой остаточного члена), при шаге группировки, равном среднеквадратическому отклонению, формула

становится практически точной.
	Иным оказывается положение при расчете по сгруппированным данным коэффициента ковариации. При малых и средних значениях коэффициент корреляции  (при ) относительная погрешность невелика даже при довольно большом шаге группировки (так,  при  и ). При больших коэффициентах корреляции, если ставится цель добиться достаточно хорошего приближения, шаг группировки необходимо уменьшать, поскольку при  основной член в оценке относительной погрешности таков: 
.
	В фундаментальных и прикладных научных исследованиях часто оказывается необходимым использовать коэффициент корреляции  в случае произвольного распределения случайного вектора при естественном и обычно выполняющемся условии существования достаточного числа моментов и гладкости плотности вероятности. На основе описанного выше общего подхода получена следующая приближенная формула для выражения истинного коэффициента корреляции  через «сгруппированный» коэффициент корреляции  и «сгруппированные» дисперсии D(W1) и D(W2):

Эта формула уточняет ранее приведенную формулу, полученную элементарными средствами. Оценена относительная погрешность определения коэффициента корреляции:
,
где RD – максимум относительных погрешностей в определении истинных дисперсий D(Z1) и D(Z2) через «сгруппированные» дисперсии D(W1) и D(W2) с использованием поправок Шеппарда, R – абсолютная погрешность при определении истинного коэффициента ковариации через «сгруппированный» (см. выше).
	Теория статистического анализа сгруппированных данных в настоящее время недостаточно развита и систематизирована, тем не менее принципиальных трудностей на пути расчета поправок на группировку нет. Во многих случаях шаг группировки порядка среднего квадратического отклонения исходных случайных величин дает с учетом поправок вполне приемлемую точность. По сравнению с другими видами погрешностей, в частности, рассматриваемыми в статистике интервальных данных ([3, 6]), группировка сравнительно слабо влияет на свойства статистических процедур. 

Литература

1. ГОСТ 11.011-83. Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения / Орлов А.И., Миронова Н.Г., Невельсон М.Б. и др. - М.: Изд-во стандартов, 1984. - 53 с. - Переиздание: М.: Изд-во стандартов, 1985. - 50 с. (3,5 п.л.).
2. Орлов А.И. Устойчивость в социально-экономических моделях. – М.: Наука, 1979. – 296 с.
3. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
4. Боровков А.А. Математическая статистика. Учебное пособие для вузов. – М.: Наука, 1984. – 472 с.
5. Петрович М.Л., Давидович М.И. Статистическое оценивание и проверка гипотез на ЭВМ. – М.: Финансы и статистика, 1989. – 191 с.
6. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.
7. Орлов А.И. Асимптотика решений экстремальных статистических задач. – В сб.: Анализ нечисловых данных в системных исследованиях. Сборник трудов. Вып.10. - М.: Всесоюзный научно-исследовательский институт системных исследований, 1982. - С. 4-12.
8. Орлов А.И. Скорость сходимости распределения статистики Мизеса-Смирнова. - Журнал «Теория вероятностей и ее применения». 1974. Т.19. No.4. С.766-786.
9. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Т.2. – М.: Наука, 1966. – 800 с.
10. Орлов А.И., Орловский И.В. О поправках на группировку // Прикладной многомерный статистический анализ. – М.: Наука, 1978. – С.339-342.

Контрольные вопросы и задачи

1. Чем задачи оценивания параметров распределения отличаются от задач оценивания характеристик распределения?
2. С помощью метода линеаризации обоснуйте вид асимптотических дисперсий оценок метода моментов для параметров гамма-распределения (табл. 3.3 раздела 3.1).
3. Почему одношаговые оценки предпочтительнее оценок максимального правдоподобия?
4. Как связаны законы больших чисел в пространствах произвольной природы и утверждения об асимптотическом поведении решений экстремальных статистических задач?
5. Как соотносятся параметрическая регрессия и непараметрическая регрессия?
6. Сопоставьте различные постановки задач изучения робастности статистических процедур. 
7. В чем основная идея поправок Шеппарда?

Темы докладов, рефератов, исследовательских работ

1. Квантильные оценки.
2. Минимизация расстояния как способ построения оценок параметров.
3. Одношаговые оценки параметров распределения Вейбулла-Гнеденко. 
4. Оптимизационные постановки основных задач прикладной статистики.
5. Роль функции влияния при изучении робастности в модели засорения Тьюки – Хубера.
6. На основе четырех описанных в разделе 3.4 моделей с помощью общей схемы устойчивости (глава 14 настоящего учебника) опишите спектр возможных постановок задач устойчивости статистических процедур.
7. Различные подходы к анализу сгруппированных данных.